Puettavien anturien datan osiointi täysikonvolutiivisten verkkojen avulla

Wearable sensor-based activity recognition is an area of pattern recognition dealing with detecting the actions and activities of a human agent using motion sensors worn or incorporated on the agent's body. Current state-of-the-art methods use a sliding window approach to partition the sensor signals into smaller fixed size windows which are then classified into activities by a deep neural network. However, this arbitrary partitioning gives rise to the so-called multiclass window problem where the partitioned window contains data from multiple activities which can result in incorrect classifications and missed activities, particularly when trying to detect sporadic activities which are irregularly occurring and short in duration. In this work, we propose a novel approach for wearable sensor-based activity recognition based on fully convolutional networks. Our model, which we coin SensorFCN, automatically segments a motion sensor signal stream of arbitrary length into activities by dense samplewise classification. Because of this, our approach is unaffected by the multiclass window problem and the model can precisely detect sporadic activities. A public activity recognition dataset consisting of motion and orientation sensor data originating from 67 subjects performing 11 different activities is used to train and validate the proposed model. A series of experiments is performed in order to find the optimal model configuration which achieves an overall sample accuracy of 96.6%. In addition, we perform occlusion sensitivity analysis in order to qualitatively measure our model's robustness to perturbations in the input signals and to better understand the model's predictions. Our work shows that fully convolutional networks are a promising family of models for wearable sensor-based activity recognition and are effective in overcoming the multiclass window problem.Puettaviin antureihin pohjautuva toimien tunnistus on hahmontunnistuksen osa-alue, jonka tavoitteena on tunnistaa ihmisen toimia ihmiskehoon kiinnitettävien liikeanturien avulla. Nykyiset menetelmät kirjallisuudessa hyödyntävät liukuvan ikkunan menetelmää pitkän anturisignaalin osioinnissa pienempiin kiinteän kokoisiin ikkunoihin, jotka luokitellaan toimiin syvän neuroverkon avulla. Tämä mielivaltaisen signaalin osiointi on kuitenkin ongelmallinen, sillä osioitu ikkuna voi sisältää useammasta kuin yhdestä toimesta peräisin olevia signaaleja. Tällöin nykyiset menetelmät eivät pysty luokittelemaan oikein kaikkia ikkunan sisältämiä toimia, mikä voi johtaa vääriin luokitteluihin ja menetettyihin toimiin, erityisesti kun yritetään havaita lyhyitä, epäsäännöllisiä toimia. Tässä työssä esitellään uusi, täysikonvolutiivisiin verkkoihin pohjautuva menetelmä toimien tunnistamiseen. Esittelemämme malli osioi mielivaltaisen pitkän anturisignaalin automaattisesti pienempiin eri toimia sisältäviin osiin, mikä mahdollistaa lyhyidenkin toimien tarkan tunnistuksen. Tämän ansiosta lähestymistapamme ei kärsi moni-ikkunaongelmasta, ja mallilla voi havaita tarkasti myös epäsäännöllisiä toimia. Käytämme mallin opettamiseen julkista, liike- ja suunta-antureista koostuvaa tietuekokoelmaa, joka on kerätty 67:än koehenkilön suorittamista 11:sta eri toimesta. Koesarjojen tuloksena olemme löytäneet 96,6 \%:n mittaustarkkuuden tuottavan optimaalisen mallikonfiguraation. Lisäksi olemme suorittaneet peiteherkkyysanalyysin mitataksemme mallin suoriutumista syötesignaalien häiriöistä sekä ymmärtääksemme paremmin mallin ennustamia arvoja. Tämän työn tulokset osoittavat täysikonvolutiivisiin verkkoihin pohjautuvien menetelmien pystyvän ohittamaan muiden antureihin pohjautuvien liikkeentunnistusmallien pullonkaulana pidettävän moni-ikkunaongelman, mikä on merkittävä edistysaskel antureihin pohjautuvan liikkeentunnistuksen alalla